#!/bin/bash
pt=$1
source /etc/profile
# 切换到脚本所在的位置
shell_home="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
cd ${shell_home}

# 删除文件来实现DataX采集的"truncate模式"
hdfs dfs -rm -r -f /daas/shujia/ods/{ods_table_name}/pt=${pt}/*
# 增加分区
spark-sql -e "alter table ods.{ods_table_name} add if not exists partition(pt=${pt})"
# 执行datax的全量采集脚本
datax.py -p"-Dpt=${pt}" ../datax/datax_{ods_table_name}.json